OpenComputer: Verifiable Software Worlds for Computer-Use Agents
OpenComputer：以可执行验证器为中心的计算机使用智能体任务合成框架
🧭 计算机使用智能体 · 可验证任务合成与评估 ★ 深度解读
Yale NLP Lab · University of Pennsylvania · University of North Carolina at Chapel Hill
构建以应用状态程序化验证器为核心的桌面任务合成框架，覆盖33款软件共1000个任务，揭示前沿GUI智能体端到端完成仍存显著差距
📌 工作参考价值（4 点）
- 用可执行状态检查替代LLM评判：在电商 Agent 或生成式推荐评估中，对商品属性、金额、文件状态等可结构化查询的指标，应优先构建硬编码验证器，避免 LLM-as-judge 在细粒度状态上的误判，本工作中硬编码验证器与人类判断任务级对齐度达 94.1%，远超 LLM 评判的 79.2%。
- 自我进化验证层思路：利用强 Agent 跑简单校准任务，对比程序化验证器与 LLM 参考判定的分歧，自动修验证器端错误并记录根因（如数据库 schema 迁移），可用于在线场景中持续改善业务规则检查器或 RL 奖励信号的可靠性。
- 任务合成的可验证前置设计：在设计推荐或对话评测集时，应先将成功标准编码为可执行检查项（如查询数据库、比对文件），再反向生成任务描述与初始状态，有效避免生成无法自动判定的示例，提升数据可用性。
- 跨接口能力评估启示：GUI 与 CLI Agent 在共享任务子集上的对比显示，视觉交互仍提供有效 grounding，但命令行执行速度更快（141s vs 288s），对电商后台操作或流程自动化场景，可针对性地混合使用两类接口，并统一用程序化验证器衡量最终应用状态。